首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 腾讯CFS Turbo:人工智能时代关键数据枢纽技术概要

    一、产品定位与核心亮点 技术定义 腾讯CFS Turbo是一款面向人工智能时代的关键数据枢纽,通过融合极速缓存、智能元数据检索与多源存储统管技术,旨在解决AI场景下训练/推理性能不足、百PB级数据成本高 三、应用框架和功能介绍 功能框架 CFS Turbo采用分层架构,核心模块包括: 极速本地缓存模块:含Turbo内核态并行客户端、Turbo极速本地缓存池(NVMe盘),对接GPU服务器/HCC集群及业务应用 智能多源存储管理能力:多云数据统一管理、全局统一命名空间,加速IDC与多云数据流动(数据来源:原文); 架构兼容性:支持S3、POSIX协议,对接并行文件存储、对象存储(数据来源:原文); 内核态优化:采用Turbo 总结 腾讯CFS Turbo作为人工智能时代关键数据枢纽,通过极速缓存、智能元数据检索、智能生命周期管理及多源存储统管四大核心能力,以2TiB/s读写吞吐、60us低延迟、1000w文件/秒检索、80%

    13010编辑于 2026-04-25
  • 腾讯 CFS Turbo:AI 时代的高性能文件存储解决方案

    一、 产品定位与核心亮点 腾讯 CFS Turbo 是一款面向人工智能(AI)及高性能计算(HPC)场景的并行文件存储服务。 三、 应用框架和功能介绍 功能框架 CFS Turbo 的架构由 Turbo 内核态并行客户端、极速本地缓存池和中心的 AI 存储平台构成。 客户端通过缓存池访问本地 NVMe 硬盘获得极致性能,同时所有数据在后台由 CFS Turbo AI 存储平台进行统一管理,形成 全局统一命名空间。 硬核指标 单客户端性能:延迟 ≤60μs,IOPS 达 300万,吞吐 50GB/s(据腾讯官方材料)。 聚合读写吞吐:2 TiB/s(据腾讯官方材料)。 元数据检索性能:1秒内可完成 1000万 文件检索(据腾讯官方材料)。 数据协议支持:支持 POSIX 标准接口及 S3 对象协议,实现与对象存储互通。

    22410编辑于 2026-04-25
  • 腾讯 CFS Turbo 核心技术架构与性能指标概要

    数据来源:腾讯 CFS Turbo 产品介绍材料 一、 产品定位与核心亮点 产品定位:腾讯 CFS Turbo 是一款专为人工智能时代设计的关键数据枢纽存储平台。 二、产品应用场景 CFS Turbo 主要面向 AI 时代的算力集群与大规模数据处理场景。 核心痛点与适用场景: AI 训练/推理场景:解决算力集群(如 GPU 服务器 / HCC 集群)对存储底层产生的极高 IOPS 与超低延迟要求,打破“算力等数据”的性能瓶颈。 功能框架 CFS Turbo AI 存储平台基于全局统一命名空间构建,其核心架构自下而上包含以下模块: 极速本地缓存池:位于靠近计算侧(GPU/HCC集群),通过 Turbo 内核态并行客户端直接调度底层

    20710编辑于 2026-04-25
  • 腾讯CFS Turbo:面向AI大模型的高性能并行文件存储

    一、产品定位与核心亮点 腾讯CFS Turbo腾讯推出的IaaS层AI存储产品,专为大模型、自动驾驶、高性能计算等高强度、大规模分析场景设计。 Turbo可与腾讯GPU服务器、HCC高性能计算集群、TKE容器服务、TI-ONE训练平台等产品集成,提供整体AI解决方案。 Turbo提速比 系统盘 158.9 673% 自建NFS 485.1 153% CFS Turbo 1228.8 / 四、典型案例 智谱AI 背景:大模型训练需要高性能共享存储支持多GPU节点并行访问 解决方案:采用CFS Turbo作为统一模型存储平台 成效:实现模型文件快速加载和多节点高效共享 元象科技 背景:AI推理服务需要快速弹性扩缩容,模型加载速度成为瓶颈 解决方案:使用CFS Turbo 博世、蔚来、微众银行、招商银行等 背景:企业级AI应用需要高可靠、高安全存储方案 解决方案:采用CFS Turbo的备份审计和安全功能 成效:建立完善的数据安全保障体系 核心价值总结 腾讯CFS Turbo

    14510编辑于 2026-05-30
  • 腾讯CFS Turbo:下一代AI存储技术与商业价值解析

    一、 产品定位与核心亮点 腾讯推出的 CFS Turbo 是一款定位为下一代AI存储的 IaaS层产品。 商业差异化卖点: 产品深度打通了腾讯GPU服务器、HCC高性能计算集群、TKE容器服务及TI-ONE训练平台。 功能框架 CFS Turbo 架构基于腾讯底层云原生能力,对上无缝对接大模型业务的各个流转环节。 吞吐量/带宽表现: CFS Turbo 提速比达 1228.8 MiB/s。 解决方案: 引入腾讯 CFS Turbo 方案,应用其并行客户端预读、POSIX/HDFS多协议融合零拷贝、共享访问及智能分层等核心模块,构建统一的AI存储底座。

    8810编辑于 2026-05-30
  • CFS Turbo 大模型训练存储性能优化实践

    全条带多MDS架构(上一代CFS Turbo): 目录开销大,无法支持海量目录;目录性能较差,且 无法动态横向扩容。 第二章:构建新一代元数据引擎与智能预读机制 针对大模型训练场景,CFS Turbo 采用了 新一代自适应条带化目录 技术与 智能预读策略 相结合的技术路径。 第三章:量化性能提升与业务指标 基于上述技术优化,CFS Turbo 在海量小文件和高并发场景下的核心业务指标显著提升: 关键指标 优化前表现 优化后表现 性能提升倍数 Readdir 性能 - - 提升 第五章:基于自研架构的技术确定性 选择腾讯CFS Turbo的核心逻辑在于其针对AI训练场景的底层架构重构能力: 彻底解决扩展性问题: 新一代自适应条带化目录技术,突破了传统MDS架构的 单点瓶颈 和 实战验证: 方案已在腾讯 混元DiT 等千亿级大模型训练场景中得到验证,具备处理 百亿级 目录与 亿级 文件的工程成熟度。

    13110编辑于 2026-05-30
  • 腾讯CFS Turbo:面向AI与高性能计算场景的高性能并行文件存储解决方案

    一、 产品定位与核心亮点 CFS Turbo腾讯推出的 IaaS层「AI存储」产品,属于高性能并行文件存储。 商业差异化卖点: 生态整合:可与腾讯GPU服务器、高性能计算集群HCC、容器服务TKE及TI-ONE训练平台深度结合,提供整体AI解决方案。 审计安全:支持将创建/删除等高危操作投递至腾讯日志服务CLS。 备份恢复:基于快照的增量备份,支持业务无感知的数据跨AZ备份。 快速统计:解决传统du命令耗时数天的问题,实现秒级目录分析。 4. 解决方案:接入CFS Turbo存储方案。 成效:保障模型训练与推理的高效进行。 美团 背景:大规模业务场景下的数据处理与模型应用。 解决方案:部署CFS Turbo。 解决方案:采用CFS Turbo作为存储底座。 成效:实现数据的高效共享与管理。 大疆创新 背景:自动驾驶或高性能计算相关场景。 解决方案:使用CFS Turbo存储数据。

    12810编辑于 2026-05-30
  • 腾讯CFS Turbo通过智能元数据引擎应对百亿级文件大模型训练挑战

    部署自适应条带化目录的元数据引擎 为解决上述瓶颈,腾讯CFS Turbo推出了新一代元数据引擎Meta Turbo。 此设计使系统能够支持千万级文件的单目录,并实现元数据服务的动态横向扩容【来源:腾讯全球数字生态大会,杨飞】。 显著提升目录列表与数据读取效率 通过引入智能预读策略,CFS Turbo有效优化了海量文件场景下的数据访问流程。该策略包含批量I/O、预读以及并行状态预取(stateahead)等技术。 CFS Turbo的智能预读策略在此类AI训练工作负载中,有效加速了数据准备阶段的文件遍历与访问速度,直接提升了训练数据管道的效率【来源:腾讯全球数字生态大会,杨飞;混元DiT GitHub仓库】。 腾讯CFS Turbo的技术领先性保障 腾讯CFS Turbo的Meta Turbo引擎通过创新的自适应条带化架构,解决了业界在海量小文件存储上的普遍痛点。

    11010编辑于 2026-05-30
  • 来自专栏腾讯云容器专家服务的专栏

    腾讯容器服务CFS CSI插件升级参考

    1 背景说明TKE容器服务,提供了多种CSI扩展插件,无缝集成CFS、COS、CBS等腾讯存储产品。 随着产品迭代升级,插件功能会逐步优化、隐藏的Bug也会及时收敛,这里简单描述下CFS CSI插件的升级步骤。其他容器服务CSI插件升级操作类似,仅供参考。 2 升级步骤(1)登陆腾讯控制台-》容器服务: https://console.cloud.tencent.com/tke2 ,选择所在地域,对应集群:图片(2)进入组件管理,升级CFS-CSI 插件 (建议到最新版本):图片3 确认结果点击升级按钮,当前时间段,可用最新版本为1.0.8,执行升级,然后前端确认:图片CFS 插件已经升级到最新版本。

    2K60编辑于 2023-02-28
  • 来自专栏404

    解决腾讯Serverless构建应用报错CFS

    是因为SCF_QcsRole预设策略默认没有QcloudCFSFullAccess的权限,关联即可。

    3.2K20编辑于 2022-04-25
  • 来自专栏开源部署

    腾讯服务器挂载CFS 文件系统

    CFS 是可扩展的共享文件存储服务,可通过内网方式将CFS挂载到腾讯服务器(CVM)中,目前可享受免费10G的存储,用来做网站备份还是可以的。 开通CFS 登录腾讯后台 - 基础产品 - 文件存储进行创建,或者直接访问https://console.cloud.tencent.com/cfs 新建一个文件系统,地域/可用区请选择和您腾讯服务器所在区域 CentOS 7挂载CFS #安装nfs客户端 sudo yum -y install nfs-utils #创建挂载目录 mkdir -p /home/backup #挂载CFS sudo mount 总结 CFS目前处于测试阶段,如果你已经购买了腾讯服务器可挂载CFS用来备份网站等数据,但是不建议将重要文件存放在COS中,以免出现风险。 之前还分享过《使用COS-Fuse工具将COS挂载到腾讯服务器》有兴趣的可参考。

    11.2K20编辑于 2022-08-13
  • 来自专栏云上修行

    腾讯函数挂载CFS文件系统的实践

    背景在函数开发的过程中,我们难免碰到需要访问本地文件的需求(例如:为了通过ip地址获得城市名称,函数需要检索近一百MB的ip地址库文件),由于函数无状态的特性,自身并不与特定服务器和本地硬盘关联, 这时,挂载CFS文件系统是一个较佳的选择。下面以Node.js 12.16的函数环境描述如何使用serverless.yml来配置CFS文件系统。 文件系统实例 id mountInsId: cfs-xxxxxxxx # 文件系统挂载点 id localMountDir: /mnt/ # 本地挂载点,函数目录 remoteMountDir 中图片图片'use strict';const COS = require('cos-nodejs-sdk-v5')const APPID = '130*******' // 请替换为您使用的腾讯APPIDconst 在函数 SCF上使用 CFS: https://cloud.tencent.com/document/product/582/47148函数tencent-multi-scf配置: https://

    2.4K00编辑于 2023-03-28
  • 来自专栏电子科技大学

    腾讯TDP-腾讯云云服务器CVM和腾讯文件存储CFS功能展示

    标题:腾讯TDP-腾讯云云服务器CVM和腾讯文件存储CFS功能展示 发布时间:2021年12月14日 简介: 通过使用CVM和CFS之间的配合 可以统一管理海量文件 同时依赖CFS的弹性性能特性 可以最高在腾讯内网体验到 10Gbps的文件传输带宽 标签:服务器CVM;文件存储CFS;命令行工具TCCLI ! image.png 5 再说两句 5.1 腾讯TDP介绍 腾云先锋(TDP,Tencent Cloud Developer Pioneer)是腾讯GTS官方组建并运营的技术开发者群体。 、大佬签名证书、更有机会参与腾讯线下沙龙、发布会交流等等 我们期待这样的您: 使用过腾讯或其他产品及服务,对服务有一定的了解; 问题或体验类需求敏感性高; 喜欢分享和讨论; 认同腾讯企业价值观 (创造、协作、进取、正直),愿意与腾讯一起成长。

    13.1K90编辑于 2021-12-14
  • 来自专栏云计算行业

    腾讯 CFS 文件存储给函数 SCF 带来的业务新场景

    关注腾讯大学,了解行业最新技术动态 戳【阅读原文】观看完整课程回顾 讲 师 介 绍  腾讯高级产品经理,曾经历过企业级存储、企业级容器平台等产品的架构与开发,对容器、微服务、无服务器、DevOps 腾讯高级产品经理,先后负责过对象存储、存储网关等多款存储产品,在存储领域有着丰富的经验。 文件存储 CFS + 函数 SCF 的优势 通过 CFS 提供的共享文件存储服务,可以为函数解决在实际使用过程中碰到的存储方面的问题,并进一步扩展函数可以支持的使用场景。 文件存储 CFS函数带来的业务新场景 通过 CFS 文件存储产品获得的优势,可以改善和扩展现有函数所实现的一些场景,也可以带来很多新的场景。 通过对接 CFS 文件存储与 SCF 函数,为函数带来了很多的扩展使用场景,除了上面提到的 3 种之外,还有很多方面可以去尝试,使用 CFS 来解决 Serverless 应用开发过程中碰到的存储问题

    2.2K30编辑于 2023-05-29
  • 来自专栏腾讯云存储

    腾讯升级多个存储解决方案 以智能化存储助力企业增长

    CFS Turbo 等多产品全新升级,能够为企业在 AI 时代提供更安全、高效的数据基础服务。 腾讯存储高级产品经理李沐霖进一步介绍了“腾讯数据万象”平台的最新进展。 腾讯存储高级产品经理杨飞介绍了腾讯高性能并行文件存储 CFS Turbo 的最新能力。 CFS Turbo 主要用于解决千亿级训练样本的并发读取、TB 级 Checkpoint 读写和十万核级的影视渲染的数据访问难题。 元石科技通过和腾讯存储的合作,采用了 COS 融合桶加速、GooseFS 和 CFS Turbo 高性能文件缓存加速、以及数据万象的处理和审核能力,让元石的自研大模型业务更高效、更快捷,也让基于其自研

    94910编辑于 2024-09-11
  • 来自专栏腾讯云存储

    腾讯 AI 存储解决方案持续升级,为 AI 全业务场景提供全面支持

    其中,GooseFS 2.0为 AI 场景深度优化,提供 GBps 单链接性能,数据访问性能逼近硬件资源极限;文件存储 CFS Turbo 打通多云数据形成端到端的解决方案,提升 AI 场景运转效率;数据万象 CFS Turbo , 面向 AI 搭建全平台、全场景、平台级存储解决方案 为了更好支持 AI 场景(如大模型训练、自动驾驶)中,文件量级尤其是小文件总量快速攀升、数据源跨多云分布的特点,腾讯 CFS 在多云环境中,CFS Turbo 能够实现全局统一命名空间,让无状态的计算实例在多云环境中弹性扩缩;提供数据接管的能力,无缝接管多源存储,并支持增量同步。 此外,CFS Turbo 提供的数据分层管理能力,可以在业务无感情况下降本60%,千万级元数据检索能力效率提升100倍。 大模型能力加持,多款产品升级成存储"智能工坊" 除了基础存储能力的升级外,腾讯存储生态深度融合大模型技术,探索智能化升级,助力企业将海量数据转化为可交互的智能资产。

    79210编辑于 2025-04-04
  • 来自专栏云+直播

    腾讯 CFS 文件存储给函数 SCF 带来的业务新场景

    通过与函数产品的对接,CFS 可以提供按需扩展的存储空间,并按实际的使用容量来付费,符合 Serverless架构的特性。 文件存储 CFS + 函数 SCF 的优势 通过 CFS 提供的共享文件存储服务,可以为函数解决在实际使用过程中碰到的存储方面的问题,并进一步扩展函数可以支持的使用场景。 文件存储 CFS函数带来的业务新场景 通过 CFS 文件存储产品获得的优势,可以改善和扩展现有函数所实现的一些场景,也可以带来很多新的场景。 image.png 在使用函数进行对象存储文件上传触发的音视频转码场景中,CFS 的引入一样可以扩展音视频转码可以处理的文件大小。 通过对接 CFS 文件存储与 SCF 函数,为函数带来了很多的扩展使用场景,除了上面提到的 3 种之外,还有很多方面可以去尝试,使用 CFS 来解决 Serverless 应用开发过程中碰到的存储问题

    3.4K53发布于 2020-10-16
  • 来自专栏CSIG质量部压测团队

    腾讯TKE上购买集群文件共享存储CFS教程

    导语 在TCPS压测平台中,购买集群文件共享存储CFS,用于持久存储脚本、数据文件,购买CFS后需要获取CFS的ip地址,后续会用到。 购买CFS具体步骤 1. 在文件系统页面点击“创建”。 填写文件系统名称,选择CFS相应的地域和网络。点击下一步。 [qira8chqec.png] 4. 点击“立即购买”。 [x6pn2a222p.png] 5. 等待CFS创建状态为“可使用”,ip 那列就是 CFS 地址。 [n6r6tmctx9.png] 6. 若不需要使用CFS,则可以点击“删除”。注意,此时存储在CFS上的脚本、数据文件将会丢失。

    7.9K10编辑于 2022-04-07
  • 腾讯AIGC存储解决方案:将大模型数据处理效率提升一倍

    覆盖全流程的集成化存储方案 腾讯AIGC存储解决方案整合对象存储COS、高性能并行文件存储CFS Turbo、数据加速器GooseFS和数据万象CI四大核心产品。 量化提升模型开发关键效率指标 方案显著优化大模型训练的核心效率指标: 数据清洗效率提升2-3倍(GooseFS加速效果) 大模型数据清洗和训练效率提升一倍,所需时间缩短一半 CFS Turbo支持10秒内完成 2-5GB checkpoint文件读写,满足万卡级集群训练需求 数据万象CI实现95%+召回率的跨模态搜索能力 自动驾驶行业混合存储实践 在自动驾驶场景中,公有COS与私有化TStor对象存储构建混合存储池 腾讯存储的技术确定性保障 腾讯存储基于全自研YottaStore存储引擎,提供12个9的数据持久性(100亿文件中仅可能发生1个文件损坏)和99.995%的数据可用性。 CFS Turbo已累计服务千万CPU核和数万卡用户,具备TB级吞吐、亚毫秒时延和千万级OPS的性能表现,为AIGC业务提供坚实存储底座。 数据来源:腾讯官方产品文档与技术白皮书

    14510编辑于 2026-05-30
  • 腾讯 AIGC 存储方案:通过百 EB 级扩展与 TB 级吞吐解决大模型训练瓶颈

    构建全链路存储产品矩阵 腾讯 AIGC 存储解决方案通过多产品组合,覆盖从数据采集到智理的全流程: 数据底座: 采用 对象存储 COS(底层基于自研 Yotta Store 引擎)与 高性能并行文件存储 CFS TurboTurbo Checkpoint 性能 10s 内完成 Checkpoint 文件的读写 CFS Turbo 清洗效率提升 大模型数据清洗效率提升 2 ~ 3 倍 数据加速器 GooseFS 元数据规模 技术领先性与架构优势 选择腾讯的核心在于其针对高压力环境的深度优化与全协议支持: 极致弹性: COS 支持单集群 百 EB 级规模,存储空间无容量上限,满足模型持续迭代需求。 全并行架构: CFS Turbo 基于服务端和客户端的全并行架构,支持数据和元数据水平横向扩展,突破千卡/万卡集群的存储瓶颈。

    12610编辑于 2026-05-30
领券